Engenheiro de Dados Pleno/Sênior [Cloudera/Hortonworks]
Estamos procurando um Engenheiro de Dados para se juntar à nossa equipe. Como Engenheiro de Dados, você será responsável por projetar, desenvolver e gerenciar soluções de engenharia de dados escaláveis e eficientes. Trabalhará em estreita colaboração com arquiteto de dados, analistas e outras partes interessadas para fornecer dados confiáveis, estruturados e prontos para análise. Efetuará a análise e documentação detalhada da infraestrutura existente, desenvolvendo estratégias para gerenciamento de dados, automação de processos e otimização de desempenho. Fornecerá suporte contínuo através de monitoramento de desempenho e atualizações regulares, além de orientar sobre governança de dados e elaborar documentação abrangente para assegurar a continuidade operacional.
- Experiência em desenvolvimento de pipelines de ELT/ETL.
- Experiência em PySpark.
- Conhecimento em Apache Spark
- Vontade de aprender e sede por conhecimento;
- Pró-atividade, atitude positiva e capacidade de trabalhar em equipe;
- Experiência em ambiente de Big Data (Cloudera, Hortonworks, Hadoop, Spark, Kafka, Airflow, Nifi, Minio)
- Conhecimento em ferramentas de monitoramento (Zabbix, Grafana).
- Conhecimento de ferramentas de containerização (Docker, kubernetes e Openshift).
- Experiência em linguagem de programação Python.
- Familiaridade com práticas de processamento em Batch e Streaming;
- Superior completo em Ciência da Computação, Sistemas de Informação, TI e áreas afins.
- Desenvolver pipelines de processamento de dados para ingestão, transformação e carga em tempo hábil e eficiente;
- Implementar e manter integração contínua, visando à automação de processos e melhoria de desempenho;
- Colaborar ativamente com o time multidisciplinar para entender as demandas de dados e entregar soluções alinhadas com as necessidades do negócio;
- Realizar análises de performance dos processos e propor otimizações para garantir a escalabilidade e confiabilidade das soluções de engenharia de dados.